y’ = 3x² – 2mx – 2 , ∆’ = m²  + 6 > 0 nên y’ = 0 có hai nghiệm phân biệt và y’ đổi dấu khi qua các nghiệm đó.

Vậy hàm số luôn có một cực đại và một cực tiểu.

a: \(y=-x^3-\left(m+1\right)x^2+3\left(m+1\right)x\)

=>\(y'=-3x^2-\left(m+1\right)\cdot2x+3\left(m+1\right)\)

=>\(y'=-3x^2+x\cdot\left(-2m-2\right)+\left(3m+3\right)\)

Để hàm số nghịch biến trên R thì \(y'< =0\forall x\)

=>\(\left\{{}\begin{matrix}\text{Δ}< =0\\a< 0\end{matrix}\right.\)

=>\(\left\{{}\begin{matrix}\left(-2m-2\right)^2-4\cdot\left(-3\right)\left(3m+3\right)< =0\\-3< 0\end{matrix}\right.\)

=>\(4m^2+8m+4+12\left(3m+3\right)< =0\)

=>\(4m^2+8m+4+36m+36< =0\)

=>\(4m^2+44m+40< =0\)

=>\(m^2+11m+10< =0\)

=>\(\left(m+1\right)\left(m+10\right)< =0\)

TH1: \(\left\{{}\begin{matrix}m+1>=0\\m+10< =0\end{matrix}\right.\)

=>\(\left\{{}\begin{matrix}m>=-1\\m< =-10\end{matrix}\right.\)

=>\(m\in\varnothing\)

TH2: \(\left\{{}\begin{matrix}m+1< =0\\m+10>=0\end{matrix}\right.\)

=>\(\left\{{}\begin{matrix}m< =-1\\m>=-10\end{matrix}\right.\)

=>-10<=m<=-1

b: \(y=-\dfrac{1}{3}x^3+mx^2-\left(2m+3\right)x\)

=>\(y'=-\dfrac{1}{3}\cdot3x^2+m\cdot2x-\left(2m+3\right)\)

=>\(y'=-x^2+2m\cdot x-\left(2m+3\right)\)

Để hàm số nghịch biến trên R thì \(y'< =0\forall x\)

=>\(\left\{{}\begin{matrix}\text{Δ}< =0\\a< 0\end{matrix}\right.\)

=>\(\left\{{}\begin{matrix}-1< 0\\\left(2m\right)^2-4\cdot\left(-1\right)\cdot\left(-2m-3\right)< =0\end{matrix}\right.\)

=>\(4m^2+4\left(-2m-3\right)< =0\)

=>\(m^2-2m-3< =0\)

=>(m-3)(m+1)<=0

TH1: \(\left\{{}\begin{matrix}m-3>=0\\m+1< =0\end{matrix}\right.\)

=>\(\left\{{}\begin{matrix}m>=3\\m< =-1\end{matrix}\right.\)

=>\(m\in\varnothing\)

TH2: \(\left\{{}\begin{matrix}m-3< =0\\m+1>=0\end{matrix}\right.\)

=>\(\left\{{}\begin{matrix}m< =3\\m>=-1\end{matrix}\right.\)

=>-1<=m<=3

1.

Nếu \(m=0\), \(f\left(x\right)=2x\)

\(\Rightarrow m=0\) không thỏa mãn

Nếu \(x\ne0\)

Yêu cầu bài toán thỏa mãn khi \(\left\{{}\begin{matrix}m< 0\\\Delta'=\left(m-1\right)^2-4m^2< 0\end{matrix}\right.\)

\(\Leftrightarrow\left\{{}\begin{matrix}m< 0\\\left[{}\begin{matrix}m>1\\m< -\dfrac{1}{3}\end{matrix}\right.\end{matrix}\right.\Leftrightarrow m< -\dfrac{1}{3}\)

2.

\(\dfrac{-x^2+2x-5}{x^2-mx+1}\le0\forall x\)

\(\Leftrightarrow\dfrac{-\left(x-1\right)^2-4}{x^2-mx+1}\le0\forall x\)

\(\Leftrightarrow x^2-mx+1>0\forall x\)

\(\Leftrightarrow\Delta=m^2-4< 0\Leftrightarrow-2< m< 2\)

Kết luận: \(-2< m< 2\)